Co-Evolving Acting and Forecasting for Language Agents
语言智能体中动作执行与预测的协同进化
🧭 语言智能体 RL 训练 · 动作预测辅助目标
University of Illinois Urbana-Champaign · University of California San Diego · Meta AI
在成功轨迹上以未来动作序列为多步辅助目标，让策略骨干同时执行与预测并共同进化，提升样本效率且无推理开销
📌 工作参考价值（4 点）
- 长链路 Agent 训练可直接复用：在电商导购、搜索比价、下单等多步任务中，可只对成功会话构造“从中间历史预测未来动作序列”的辅助损失，同一动作在不同历史位置反复监督，能显著压缩所需的成功轨迹数量；适合在 WebShop 类仿真环境先跑通再迁到真实场景。
- 无推理侧负担，适合在线部署：该方法不增加额外模型、不改变单步推理流程，可在现有 policy 模型上直接加辅助 loss 训练；对推荐/搜索 Agent 的服务架构几乎零侵入。
- 比 value/observation 辅助目标更稳定：若业务中 agent 奖励稀疏，且页面日志、终端输出长且嘈杂，可优先尝试这种多步动作预测目标，而不是拟合下一步观测或单标量价值。
- 时间集成可迁移到生成式推荐：同一 item 从不同用户历史前缀反复预测，等价于多步预测正则，或可缓解长序列生成中的 exposure bias，值得在 Semantic ID 或生成式重排任务中试验。